Les derniers résultats de PISA

A relire d'une manière générale ces différents scénarios envisagés en 2001 par l'OCDE pour l'évolution de l'école : édifiant ! "QUEL AVENIR POUR L’ÉCOLE ?" (archive LVM) Sur ce fil : Les résultats de PISA 2012 seront dévoilés début décembre : mais certains semblent en avoir déjà la primeur !

Dans "Les Echos" du 24/10/13 : "Etude Pisa sur les résultats des élèves : Vincent Peillon promet le pire"

Quelque chose est masqué pour les invités. Veuillez vous connecter ou vous enregistrer pour le visualiser.

Les résultats de PISA 2012 n'engagent de toute façon que les prédécesseurs de Vincent Peillon.
"choc Pisa", "La France décroche totalement", "ça devient dramatique" : voilà qui est effectivement angoissant, sans être surprenant. Mais s'il ne s'agit que d'un "recul de deux places" comme le pronostique la députée UMP Annie Genevard, voilà un catastrophisme qui est peut-être exagéré. Entre 490 et 500 pts il y a plus de dix pays de l'OCDE : reculer de deux places correspondrait donc à une perte de points presque négligeable. De ce point de vue, les résultats étant si proches les uns des autres, un classement n'a pas vraiment de sens (comme pour les lycées et leur taux de réussite presque équivalents ).

« Un enseignant coûte 2 millions d'euros sur toute sa carrière, soit un coût de 120 milliards » au vu des créations de postes envisagées, précise-t-elle. La députée doute de l’efficacité de ces postes et de « l’aspect quantitatif » de la politique du ministre. « C’est dépenser plus pour mieux faire, je l’espère, confie-t-elle aux « Echos ». Mais je n’en suis pas certaine. »

En tout cas la majorité à laquelle elle appartient a fait le pari inverse pendant dix ans et on en voit les résultats aujourd'hui.
Pour mémoire :
Évolution comparée des résultats et du nombre d’enseignants dans le second degré de 2000 à 2012

A lire dans "EducPros" du 25/10/13 : "Sophie Vayssettes (enquête Pisa 2012) : "Attention aux spéculations et aux récupérations politiques"

Quelque chose est masqué pour les invités. Veuillez vous connecter ou vous enregistrer pour le visualiser.

Les tests sont ensuite corrigés dans chaque pays par des correcteurs (souvent des enseignants) formés spécifiquement.

J'ai participé à la première session (celle dite de 2000)... mais je n'ai pas été 'formé'.

Vous m'excuserez d'être extrêmement bref mais j'ai l'intention d'écrire un article plus complet sur le sujet "PISA". Mais il me semble utile de faire cependant quelques remarques méthodologiques.
Donc en bref.
On peut avoir à mon sens un certain nombre de doutes sur la valeur de la majorité des « tests de niveau », même si on peut en utiliser certains aspects mais à condition d’être extrêmement circonspect.
Je suis donc partisan de la prudence a priori pour l’interprétation des résultats de ces tests. Ceci dit venons en à PISA et aux mathématiques par exemple.
PISA ne teste en aucun cas des mathématiques. J'ai expliqué cela dans une réunion qui avait été organisée par la Société Mathématique de France et sa correspondante finlandaise en octobre 2005 juste au moment du 1er PISA[1]. Et vous pourrez donc y trouver mon exposé dans lequel j'explique - preuves à l'appui et ça n’a jamais été contesté - que la "culture mathématique" testée par PISA n'a pas grand chose à voir avec les mathématiques puisque en sont absents de l'évaluation "algèbre, calcul littéral, raisonnement déductif, trigonométrie (angles) et objets géométriques".
Autrement dit, ce qui est testé par PISA n’est pas des mathématiques mais un objet transformé au mieux en « un tas » comme disait Lebesgue.
Et en ce sens
-PISA ne teste pas des maths
-Les variations de niveau repérés par PISA n’ont strictement aucun sens par rapport aux mathématiques : on peut avoir un progrès en mathématiques et une baisse de l’évaluation PISA, ou le contraire ou toute autre combinaison.
- A mon avis et à moins de me prouver expressément le contraire, il n’y a pas grand intérêt à essayer de savoir ce que teste PISA sous le nom de « culture mathématique » puisque l’on sait que ce ne sont pas des mathématiques et qu’en fait, c’est le niveau en mathématiques qui est intéressant.
Ce qui était assez rigolo à l'époque était la déclaration que m'avait faite un des mathématiciens finlandais, je crois qu’il s’agissait de G. Malaty " Vous avez de la chance, vous, vous n'êtes pas premier à PISA. Nos étudiants à l'Université ont un niveau particulièrement faible et qui continue à chuter [2] mais ce constat est encore plus inaudible depuis qu’on est premier à PISA »
Je pense que l’on pourrait dire la même chose sur la partie « maîtrise de la langue » que ce qui est dit plus haut des mathématiques : ce que teste PISA est strictement « la langue de la com » et non tout ce qui pourrait se rapprocher de ce que l’on pourrait appeler un niveau élémentaire de connaissance académique ( ou disciplinaire ou universitaire) de la langue [3].
Ceci dit, il ya une catégorie de questions importante à traiter. Qui a conçu PISA ? Quelle est la fonction de PISA ? Quelle conception existante avant PISA était la cible visée par PISA ? J’ai quelques réponses sur la question mais il me faut un peu de temps pour le rédiger sérieusement, d’autant plus sa rédaction doit être fort précise car « elle risque d’être fortement critiquée ».
Il existe une critique intéressante de la notion de « culture mathématique » estampillée PISA, c’est celle du mathématicien britannique Tony Gardiner dans son article « What is mathematical literacy ? »
Enfin - très vite dit et donc avec une certaine imprécision- je voudrais dire que, à mon sens, nous vivons majoritairement dans un « système de pensée numérologique », c'est-à-dire dans lequel tout le monde a tendance voir derrière chaque statistique et derrière tout discours incluant des nombres, une possibilité d’interprétation du monde. Or on peut constater que si l’on ajoute +deux+ liquides, on trouve en général +un+ liquide et donc qu’en ce cas 1+1=1.
Michel Delord
[1] Toutes les interventions à ce colloque sont ici :
smf4.emath.fr/VieSociete/Rencontres/Fran...mmeFinlande2005.html
La traduction française de mon intervention est à :
smf4.emath.fr/VieSociete/Rencontres/Fran...nde-2005/DelordF.pdf
[2] Ce mathématicien avait cité, par exemple, le cas d'un étudiant de licence en mathématiques qui simplifiait un truc du type 3x / (sin 2x) et trouvait 3/(sin 2).
[3] Ceci rappelle furieusement ce que disait Henri Poincaré à propose l’apprentissage des langues étrangères au début du XXème siècle.
"La méthode directe nous apprend de l'allemand tout ce qu'en savent les Allemands sans aller à l'école, et cela n'est certes pas à dédaigner; combien d'entre nous, ayant imprudemment passé la frontière, ont à rougir de leur ignorance devant les garçons de café. L'allemand d'un garçon de café, ce serait déjà une conquête ; mais le français des garçons de café, c'est peut-être un peu maigre "
in Henri Poincare, La science et les humanités, 1911
michel.delord.free.fr/poincare-sh.pdf

Très honoré, MD, de votre présence sur ce forum.
Les articles où j'ai pu - à titre personnel - mentionner PISA ou d'autres données de l'OCDE ne contestent pas sur le fond ces données, mais s'appuient sur leur connaissance pour réfuter toute interprétation abusive qui en est faite. Par exemple affirmer que la dépense éducative de la France est excessive compte tenu de ses résultats PISA. C'est en effet une position facile à défendre : un tel usage (porter la contradiction à partir de données de l'adversaire en quelque sorte) a l'avantage d'interdire toute polémique.
Ce que vous vous proposez est beaucoup plus ambitieux, plus radical et - d'une certaine manière - beaucoup plus légitime. Pour vous donner raison je n'ai pas de compétence particulière sur la culture mathématique mais j'ai pu constater, quand j'ai moi-même participé à la toute première session de PISA en 1999, qu'il existait un curieux décalage entre ce qui était attendu dans les tests de l'OCDE et ce que l'école française attendait des élèves.
Hormis la recevabilité ou non des tests PISA en eux-mêmes, il existe encore d'autres problèmes :

• Les biais et les problèmes de représentativité liés à toute enquête fondée sur un échantillon, même de 5000 élèves. Il semble difficile de comparer des pays et des systèmes éducatifs aussi divers par la richesse, la taille, la démographie, la culture etc. Le biais le plus évident est quand même que le pourcentage de la population scolarisée à quinze ans n'est pas le même dans tous les pays.
• L'interprétation médiatique des résultats ou à leur évolution est souvent moins scientifique qu'idéologique. Il est simple d'expliquer une hausse, une baisse ou un bon, un mauvais résultat en mettant en avant un facteur et en négligeant tous les autres. On pourrait par exemple, à partir de PISA 2009, déduire du classement des dix premiers pays que la performance est surtout liée à la superficie/population réduite d'un pays ou à sa localisation orientale/septentrionale...
• Les résultats des différents pays sont la plupart du temps si rapprochés ou leur évolution si ténue qu'il est presque impossible de leur donner un sens scientifique. Les écarts de points semblent souvent importants mais en réalité, lorsqu'ils sont rapportés à l'ensemble des points ils ne constituent qu'une fraction non significative. Les pertes ou gains de place ne sont donc guère signifiants, d'autant qu'on compare des classements qui ne comportent pas les mêmes pays : de nombreux pays asiatiques se sont ainsi ajoutés en début de classement qui n'étaient pas dans le premier PISA 2000.

Hasard de l'actualité : cet article, "L’exploitation des enquêtes PISA : entre rigueur scientifique et exigences politiques" , dans la revue québécoise "Initio" de l'Université de Laval (N°3 automne 2013).
Extrait :

Conclusion
Dans cet article, nous avons tenté de montrer que l’équipe PISA de l’OCDE tendait à réaliser de plus en plus d’analyses secondaires afin d’améliorer l’utilité de l’enquête en termes politiques, ce qui permettrait également au programme PISA d’évoluer afin de garder son importance auprès d’une plus grande variété de publics.
Notre analyse souligne que les analyses secondaires présentées par l’OCDE découlent d’une interprétation causale des données qui n’est pas justifiée au sens statistique strict. Les matériaux écrits, dont les rapports PISA, semblent très prudents quant aux critères scientifiques et aux statistiques, mais il apparaît toutefois que les messages diffusés sont souvent concis, simplifiés et ne respectent pas tous les principes scientifiques.
Les analyses réalisées à partir des données PISA et leur interprétation par l’OCDE mettent de l’avant certains modèles et certaines pratiques éducatives qui reflèteraient, en partie du moins, le système de valeurs et les idées de la Direction de l’Éducation.
Les recommandations, de nature politique, qui sont tirées de ces analyses doivent être considérées comme un point de départ pour l’élaboration de politiques, mais elles devraient également s’appuyer sur des recherches supplémentaires qui tiennent compte du contexte national d’implantation.

Loys écrit: Les analyses réalisées à partir des données PISA et leur interprétation par l’OCDE mettent de l’avant certains modèles et certaines pratiques éducatives qui reflèteraient, en partie du moins, le système de valeurs et les idées de la Direction de l’Éducation.

C'est particulièrement flagrant dans la production d'Eric Charbonnier, employé de l'OCDE et blogueur du Monde. Un exemple parmi d'autres : un article sur les problèmes de discipline en France, qui disait que la solution, c'était d'adoucir la pédagogie, pour que l'école cesse d'être l'endroit qui produit de la violence (je caricature, mais à peine).

Merci pour le compliment initial et l’intérêt que vous accordez à ma prose. Je ne sais si elle le mérite mais ce qui est à mon sens sûr est l’intérêt que l'on doit accorder au rôle particulier de PISA mais à condition de saisir qu'on ne peut le comprendre vraiment que si on comprend le rôle général des tests depuis les années 60.
Je pense que l'on pourrait montrer une corrélation inattendue pour les amateurs de tests, celle entre l'augmentation du rôle des tests et la baisse du niveau scolaire.
Ceci dit, pour résumer ce rôle général des tests, je renvoie à 2010 et à mon interview par Luc Cédelle

MD : Et surtout, ces nouveaux programmes [de 2007] allaient être publiés dans un contexte national et international d'évaluationnite aiguë, d'ailleurs justifiée par le mouvement antipédagogiste qui s'appuyait sur une analyse de part en part fausse : si l'on obtient la liberté de l'enseignement, on doit avoir un contrôle des résultats.
LC :Je vous trouve osé, là... Dès qu'il est question d'évaluation, vous dégainez le concept d'évaluationnite ! Vous voudriez que les enseignants fassent ce qu'ils veulent comme ils le veulent et quand ils le veulent ? Avec l'argent de l'Etat et sans jamais de comptes à rendre sur leurs résultats ? Dans ces conditions, effectivement, il n'y aurait plus que le marché comme arbitre...
MD :La question de l'évaluation est au croisement de la liberté pédagogique, du rôle des programmes et ce que l'on appelle maintenant les modes de gouvernance... Elle est centrale, très complexe et très mal abordée.
Ce que l'on appelle depuis une trentaine d'années « l'évaluation » recouvre en gros toutes les méthodes de contrôle de fonctionnement du système scolaire, en particulier du niveau des élèves, basées principalement sur des tests et utilisant le plus souvent un fort appareillage statistique, censé donner un caractère scientifique à la chose.
Ces méthodes représentent l'extension des formes mercantiles à l'enseignement. Un aspect aujourd'hui central à Bercy et dans tous les rectorats est la nouvelle gouvernance de l'appareil scolaire, centrée sur la gestion des flux d'élèves, considérant par exemple le redoublement sous sa « dimension économique tout d'abord [...], sa dimension pédagogique ensuite»
Elle n'est pas éloignée de deux autres conceptions. Celle qui pose le problème en termes de deal entre l'octroi de la liberté pédagogique et « l'obligation de résultats ». Et l'autre, complémentaire, qui confond l'appréciation de la valeur du système scolaire et l'appréciation du travail d'un maître.
Cette dernière se passait sous la forme d'inspections dont le contenu consistait avant-guerre non pas à construire son avis exclusivement à partir de la leçon du jour - c'est ce qui est fait aujourd'hui et c'est cela qui mérite d'être taxé de ringardise - mais notamment à poser aux élèves des questions permettant de savoir ce qu'ils avaient retenu des leçons des mois précédents.
Il n'est nullement question que les enseignants fassent « ce qu'ils veulent... » car ils doivent suivre les programmes. La liberté pédagogique ne signifie pas l'autorisation de faire n'importe quoi et s'exerce dans le cadre des programmes, à condition qu'ils soient cohérents et riches.
Mais la liberté pédagogique devient effectivement n'importe quoi lorsque les programmes sont de piètre qualité, lorsque l'enseignant n'a pas une formation disciplinaire suffisante et lorsqu'il est en face d'élèves qui ne possèdent pas majoritairement les prérequis nécessaires pour assimiler ce que l'on est censé leur apprendre.
Je n'ai pas la prétention de convaincre qui que ce soit en quelques mots sur un sujet aussi fondamental. Cependant une remarque : l'école primaire jusqu'aux années 50 en France, n'organisait ni tests, ni évaluations au sens où cela est entendu maintenant. Il serait peut-être judicieux de comprendre comment elle procédait.
[...]
Le fond du problème est que la mise en place des "systèmes d'évaluations" a eu comme résultat de déposséder les instituteurs qui, ne l'oublions pas, étaient les seuls à réellement connaître leurs élèves, de tout pouvoir sur leurs orientations. C'est donc une réforme qui a atteint globalement ses objectifs.

Ceci dit, je suis tout à fait d'accord avec vos remarques finales. et je rajoute une partie de cet interview pour préciser ce qu'est "La vie moderne"

Une chose est sûre : la forme mercantile envahit tous les domaines de la vie sociale et personnelle. Et la principale caractéristique de cette forme est l'exigence de croissance absolue qui ne peut se manifester qu'en rendant obsolète tout ce qui existe. La tendance fondamentale de nos sociétés est donc l'innovation contre la tradition y compris et surtout sur le marché des idées.

Michel Delord, ex élève de A' (dernière génération), ceci expliquant peut-être cela..

A lire sur "Slate" du 29/11/13 : "Nos mauvais résultats aux tests Pisa ne sanctionnent pas les élèves, mais nos politiques" par Louise Tourret.

Quelque chose est masqué pour les invités. Veuillez vous connecter ou vous enregistrer pour le visualiser.